1
先進的生成AIの展望
PolyU COMP5511Lesson 11
00:00

高度な 生成AI の展望は、孤立したモノリシックなモデルから、以下の要素によって定義される多層的なエコシステムへと進化してきました。 複合AIシステムこの移行は、単純な確率的トークン予測から、基盤モデル(FM)、モジュール式プラグイン、クロスモーダル合成を統合するシステムへと向かっています。

コンピューティング/クラウド基盤LLM拡散モデル音声/コードオーケストレーション&エージェント層

生成AIスタックの分類

  • インフラストラクチャ層:トレーニングと高速推論に必要な膨大な計算リソースを提供するハードウェア基盤(GPU/TPU)とクラウドサービス。
  • モデル層:GPT-4、Llama 3、Stable Diffusionなどの基盤モデル(FM)で、さまざまなモダリティの専用エンジンとして機能します。
  • オーケストレーション層:ロジック、データフロー、検索を管理するフレームワークで、モデルを「凍結された」重みから リアルタイムの文脈認識を備えたシステムへと進化させます。

モダリティの収束

技術トレンドは、主にTransformerと拡散モデルのアーキテクチャを統一し、共有の潜在空間を実現することに焦点を当てています。これにより、テキスト、画像、動画を連続的な情報ストリームとして操作できる単一の統合インターフェースが可能になり、数学的には異なる潜在多様体間のマッピング $M_{text} \leftrightarrow M_{visual}$ として表現されます。

構造的進化
トレーニングデータのパラメータ $\theta$ のみに依存する「Closed-Book」モデルから、外部環境の状態 $E$ を利用して $P(y|x, E)$ により複雑な推論タスクを解決する「Open-Book」システムへと移行しています。
Python実装